Capacitação para o controle da hanseníase: avaliação e contribuições para a gestão / Training process for leprosy control: evaluation and contributions to management

RESUMO Este estudo tem o objetivo de apresentar a avaliação de um projeto de capacitação em serviço para profissionais de saúde nas ações de prevenção e controle da hanseníase, problematizando o modelo de avaliação adotado, com foco na utilização para a gestão em saúde. Foi realizada uma avaliação ex-post em 18 municípios prioritários brasileiros participantes das capacitações. Empregou-se a estratégia Rapid Evaluation Methods (REM), priorizando: a) abordagem colaborativa; b) técnicas qualitativas; e c) enfoque conceitual da translação do conhecimento. Foram realizadas 24 entrevistas grupais, envolvendo 278 participantes. A abordagem de ensino em serviço foi importante para revalorização das ações de prevenção e controle da hanseníase e para conferir um lugar privilegiado de discussão técnica, de reflexão e de mudanças na atenção primária e em sua relação com a especializada. Conclui-se que o modelo de avaliação possibilitou que as controvérsias e convergências surgissem, assim como as recomendações para ajustes da intervenção junto à gestão em tempo oportuno.

ABSTRACT This study aims to present the evaluation of an in-service training project for health professionals in leprosy prevention and control actions, questioning the adopted evaluation model, focusing on its use for health management. An ex-post evaluation was carried out in 18 priority Brazilian municipalities participating in the training project. Rapid Evaluation Methods (REM) strategy was employed, prioritizing: a) a collaborative approach; b) qualitative techniques; and c) a conceptual approach to knowledge translation. Twenty-four group interviews were carried out, involving 278 participants. The in-service teaching approach was important for revaluing leprosy prevention and control actions and to provide a privileged place for technical discussion, reflection and changes in primary health care and in its relationship with specialized care. It can be concluded that the evaluation model enabled controversies and convergences to emerge, as well as recommendations for managers to adjust the intervention timely.

Prontuário Eletrônico: uma revisão sistemática de implementação sob as diretrizes da Política Nacional de Humanização / Electronic Health Record: a systematic review of the implementation under the National Humanization Policy guidelines

Resumo Como parte do estudo de avaliabilidade da avaliação da implementação do Prontuário Eletrônico do Paciente (PEP), o objetivo desta Revisão Sistemática (RS) foi identificar os domínios de avaliação a serem abordados. Esta RS, alinhada com o Cochrane Handbook for Systematic Reviews of Interventions e o Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) englobou artigos publicados de 2006 até 2019. Realizou-se a busca nas bases de dados eletrônicas SciELO, Oásis IBICT, BVS Regional e Scopus. A busca retornou 1.178 artigos, sendo 42 que atenderam aos critérios de inclusão. A maioria dos estudos utilizaram métodos qualitativos para análises. As publicações ocorreram entre 2006 e 2019, tendo sua concentração em 2017 com 9 (21%) artigos publicados. Não foram identificados estudos publicados em 2008 e 2009. Somente 10 estudos incluíam descrição, análises ou resultados relacionados aos domínios de implementação. Os principais domínios em que o PEP foi problematizado foram: subutilização; resistência dos profissionais ao seu uso; ênfase na usabilidade; e o PEP como repositório de informações. Apesar da inclusão de todos os estudos que contemplaram os princípios e diretrizes da Política Nacional de Humanização (PNH), eles ainda são incipientes.

Abstract As part of the evaluability study of the implementation of the Electronic Patient Record (EPR) evaluation, the aim of this Systematic Review (SR) was to identify the evaluation domains to be addressed. This SR, aligned with the Cochrane Handbook for Systematic Reviews of Interventions and the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) encompassed articles published from 2006 to 2019. The search was carried out in the electronic databases SciELO, Oasis IBICT, BVS Regional and Scopus. The search resulted in 1,178 articles, 42 of which met the inclusion criteria. Most studies used qualitative methods for the analyses. The publications took place between 2006 and 2019, with a concentration in 2017 with 9 (21%) articles published in that year. No studies were published in 2008 and 2009. Only 10 studies included the description, analysis or results related to the domains of implementation. The main domains in which the EPR was problematized were: underutilization; professionals' resistance to its use; emphasis on usability; and EPR as an information source. Despite the inclusion of all studies that covered the principles and guidelines of the National Humanization Policy (NHP), they are still incipient.

Análise estratégica do Projeto QualiSUS-Rede: contribuições para avaliação em saúde pública

RESUMO O QualiSUS-Rede buscou qualificar a atenção e a gestão em saúde via organização das redes de atenção. O objetivo do estudo foi analisar o processo de formulação e implementação do QualiSUS-Rede relacionado à gestão. Trata-se de estudo qualitativo, de base documental. Fez-se uso da análise estratégica, considerando suas três dimensões: pertinência do problema priorizado; pertinência do objetivo e das soluções propostas; pertinência das parcerias. Aplicou-se a análise estratégica de forma hibridizada com a teoria de mudança em seus três eixos: cadeia de efeitos e seus condicionantes, modo de funcionamento e as interações entre os atores. Elaborou-se a linha do tempo do QualiSUS-Rede, identificando os eventos críticos. Como resultado, verificou-se que o QualiSUS-Rede obteve pertinência nas três dimensões da análise estratégica. No entanto, as evidências apontam que, em intervenções futuras, os seguintes aspectos precisam ser observados: i) a agilização dos tempos institucionais; ii) a fragilidade do modelo institucional de monitoramento e avaliação; e iii) dificuldade das instâncias envolvidas com a gestão de riscos, especialmente daqueles originários das transições governamentais. O uso de múltiplas estratégias metodológicas, com base na teoria da intervenção, considerando a cadeia de efeitos e causalidades, mostrou-se potente para explicitar a teoria e o modelo de gestão no QualiSUS-Rede.

ABSTRACT QualiSUS-Network sought to qualify management and health care by means of organization of health networks. The objective of our study is to analyze the process of formulation and implementation of QualiSUS-Network related to management. This is a qualitative study, on a documentary basis. Strategic analysis was used, by considering its three dimensions: relevance of the problem prioritized; relevance of the proposed objectives and solutions; relevance of partnerships. Strategic analysis was used in a hybrid way together with the theory of change considering its three axes: chain of results and its conditioners, operation mode and interactions among actors. A timeline of QualiSUS-Network was also developed, identifying critical events. As a result, it was verified that QualiSUS-Network achieved relevance in the three dimensions of the strategic analysis. However, the evidences point out that, in future interventions, the following barriers need to be observed: i) the streamlining of institutional times; ii) the weakness of the institutional model for monitoring and evaluation; iii) difficulty of the bodies involved with risk management, especially those originating from government transitions. The use of multiple methodological strategies, based on the intervention theory, considering the chain of outcomes and causalities, have proved to be potent in explaining the theory and management model in the QualiSUS-Network.

Participação dos atores na avaliação do Projeto QualiSUS-Rede: reflexões sobre uma experiência de abordagem colaborativa / Stakeholder participation in the evaluation of QualiSUS-Network Project: Reflections on a collaborative approach experience

RESUMO A incorporação dos diferentes interessados ao processo avaliativo é estratégica para facilitar a compreensão da avaliação e a apropriação de seus resultados. Este artigo se propõe a descrever e analisar criticamente a participação dos atores (stakeholders) no processo de avaliação, utilizando a pesquisa avaliativa do Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). Para isto, foram tomadas como base as memórias das reuniões de trabalho, das oficinas de alinhamento conceitual e de validação dos Modelos Lógicos dos seminários realizados, assim como dos relatórios elaborados no período de agosto de 2012 a dezembro de 2015. A abordagem colaborativa envolveu inúmeros desafios, englobando 15 projetos, com distintos níveis de abrangência e complexidade, e com diversos stakeholders, com diferentes tipos e níveis de colaboração, o que condicionou os limites e as possibilidades de participação. Esta experiência gerou a adaptação do Modelo de Avaliação Colaborativa de Rodriguez-Campos e Rincones-Gomez (2013). A abordagem colaborativa exige por parte dos avaliadores um exercício de flexibilização e de ajuste às distintas particularidades e aos contextos locais, sem perder de vista o alinhamento às teorias da intervenção e ao modelo teórico da avaliação.

ABSTRACT Stakeholder approaches to evaluation imply the incorporation of different stakeholders in the evaluation process as to facilitate its comprehension and the appropriation of its results. This article aims to describe and critically analyze the participation of the stakeholders in the evaluation process taking into account the evaluation study Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). For this purpose, we analyzed the reports regarding work meetings, workshops for conceptual alignment and validation of the projects Logical Models, seminars, as well as partial and final reports, during the period of August 2012 to December 2015. The collaborative approach involved numerous challenges encompassing 15 projects, with different levels of complexity, and with a diverse number and variety of stakeholders, which brought us to the limits and possibilities of participation of the different actors. We adapted the Collaborative Evaluation Model, from Rodriguez-Campos and Rincones-Gomez (2013). This type of approach requires the evaluators to exercise flexibility and adjustment to different local contexts and particularities, without losing sight of conformity to the theory of intervention and to the evaluation theoretical model.

Usos e influências de uma avaliação: translação de conhecimento? / Evaluation uses and influence: knowledge translation?

RESUMO Partindo de uma avaliação de desempenho, o artigo traz algumas reflexões conceituais que tomam como base teórica a translação do conhecimento e sua relação com os usos e influências de uma avaliação. Realizou-se estudo exploratório com análise documental, tendo como questões norteadoras a identificação de possíveis alianças e fatores que pudessem facilitar ou dificultar a translação do conhecimento. Os resultados indicaram que a teoria instrumenta a validação de construto do processo de utilização, estabelecendo base racional e lógica para abranger diferentes actantes e os interesses que os mobilizam. Algumas limitações da interface entre avaliação e a teoria do ator rede foram identificadas.

ABSTRACT This article, based on a performance evaluation, aims to discuss some conceptual reflections on knowledge translation theory and its relation to the uses and influences of evaluation. An exploratory study was conducted, centered on documental analysis, aiming to identify possible alliances and factors that could facilitate or hinder the translation of knowledge. The results indicated that the theory is a tool that enables the validation of utilization construct process, establishing the rational and logical basis for incorporating different actants and the interests involved. We could also identify some limitations of the interface between evaluation and the actor-network theory.

Análise estratégica do processo de formulação da PM&A-SUS: lições aprendidas e desafios / Strategic analysis of the formulation process of SUS National Policy on Monitoring and Evaluation (PNM&A-SUS): challenges and lessons learned

RESUMO O artigo apresenta a Análise Estratégica (AE) do processo de formulação da Política Nacional de Monitoramento e Avaliação do Sistema Único de Saúde (PNM&A-SUS). O estudo qualitativo utilizou-se da análise documental e revisão de literatura considerando as três dimensões da AE: pertinência do problema, ou seja, necessidade institucional da política; dos objetivos propostos e das parcerias mobilizadas. A análise mostrou que a formulação vem acontecendo de forma descontínua e não há definição de conceitos, proposições e usos unanimemente aceita entre os stakeholders. O processo interrompido necessita ser retomado para a elaboração consensuada da PNM&A-SUS, considerando as lições aprendidas e a apropriação realista do contexto.

ABSTRACT This article presents the Strategic Analysis (AE) of the formulation process of SUS National Policy on Monitoring and Evaluation (PNM&A-SUS). The study employed a qualitative document analysis and literature review, accounting for the three dimensions of AE: relevance of the problem (needed institutional policy); proposed objectives and mobilized partnerships. The analysis showed a discontinuous formulation process with relevant controversies regarding evaluation purposes, assumptions, responsibilities and expected competencies among stakeholders. The interrupted formulation process needs to be recommenced, as for the lessons learned and the realistic context assessment.

O apoiador local como ator estratégico na implementação do QualiSUS-Rede: engenheiros de conexão? / The supporter as strategic local actor at the QualiSUS-Network implementation: connection of engineers?

RESUMO Este artigo reflete sobre o apoiador institucional do Ministério da Saúde a partir da avaliação de implementação do Projeto QualiSUS-Rede. Utiliza-se o referencial de atores intermediários, inspirado na Teoria Ator-Rede, adaptada ao objeto do estudo. Entrevistaram-se treze apoiadores, explorando-se as operações de translação e os domínios de mediação cognitivos, estratégicos e logísticos. Os resultados indicam a legitimação da função apoio como unidade organizacional, embora com pouca autonomia gerencial e financeira, diluindo a possibilidade desses atores de produzir e gerenciar conexões inovadoras para a construção de alianças, encaminhamentos e superação de conflitos e controvérsias.

ABSTRACT This paper reflects on the Ministry of Health 'institutional supporter', based on the implementation evaluation of QualiSUS-Network Project. We employed the intermediate actors theory, inspired by the Actor-Network Theory, and adapted to the study's object. Thirteen 'supporters' were interviewed to explore the relationship between the translation operations and mediation process (cognitive, strategic and logistic). The results indicate the 'supporter' as an organizational unit with a legitimate function, but with limited managerial and financial autonomy, which dilutes these actors possibility to produce and manage innovative connections to build alliances and overcome conflicts and controversies.

Estudo exploratório dos modelos de avaliação de desempenho em saúde: uma apreciação da capacidade avaliativa / Exploratory study of health performance models: an assessment of the evaluation capacity

RESUMO Este artigo identifica e analisa os modelos de avaliação de desempenho de sistemas de saúde, considerando-se a sua capacidade avaliativa. Realizou-se a revisão sistemática da literatura, identificando-se seis artigos que apresentaram o modelo adotado para a avaliação de desempenho. Procedeu-se à apreciação da capacidade avaliativa segundo critérios definidos de meta-avaliação. Conclui-se que o foco dos debates em torno dos modelos enfatiza as dimensões avaliativas, o perfil e qualidade dos indicadores em detrimento da compreensão pactuada do 'avaliando' e do processo de valoração. Espera-se ter contribuído para a sistematização de critérios de meta-avaliação de modelos avaliativos.

ABSTRACT This paper aims to characterize the evaluation potential of currently known health performance models. A systematic literature was performed and six articles were selected because they specified the adopted model of performance. The review showed that most of the debates concerning the models was focused on the description of the analytic dimensions and indicators. Issues such as valuation theory, standards and thresholds for judgment were missing. Thus, this study expects to contribute to systematize criteria to assess health performance evaluation models highlighting focus, theoretical assumptions and methodological strategies.

Avaliação em saúde: dos modelos teóricos à prática da avaliação de programas de controle de processos endêmicos / Health evaluation: the theoretical models to the practice of evaluation of control programs of endemic processes

Coletânea que vem preencher uma lacuna importante no âmbito dos programas voltados para o controle dos processos endêmicos. Ela cumpre três objetivos principais: pensar o papel social da avaliação; discutir os problemas envolvidos na aproximação da teoria à ação no processo avaliativo; e colaborar com a prática de profissionais em avaliação no desenvolvimento de projetos ou planos de avaliação com foco na melhoria das ações. Os capítulos apresentam estudos sobre programas de dengue, sífilis congênita, vigilância em saúde, HIV e tuberculose. Embora os estudos avaliativos apresentados não possam extrapolar seus resultados para outras realidades, compartilham com elas conceitos, fundamentos e questões, bem como fatores que facilitam ou dificultam as ações em saúde. O livro tem a preocupação de articular o discurso com a prática, a teoria com a ação, de modo a aproximar a produção acadêmica dos serviços de assistência à saúde. Propõe processos avaliativos não para gerar informações de forma burocrática, mas para compreender como e por que aqueles resultados são produzidos, tornando-os cada vez mais relevantes para melhorar os serviços estudados. E isso requer avaliações que contemplem tanto as perspectivas técnicas e normativas quanto a visão dos usuários. Dessa forma, os achados de um processo avaliativo podem, de fato, contribuir para a tomada de decisões, os ajustes necessários nos programas ou a busca de novas alternativas.

A conformidade das ações do tratamento diretamente observado para tuberculose na perspectiva dos profissionais de duas unidades de saúde da cidade do Rio de Janeiro / Compliance regarding directly observed treatment for tuberculosis from health professionals perspective in two health facilities in the city of Rio de Janeiro

A análise da conformidade preconizada nas normas técnicas é um dos eixos de sustentação dos estudos avaliativos. O objetivo deste estudo foi avaliar a conformidade como categoria explicativa de implementação do tratamento diretamente observado (TDO) para tuberculose, na perspectiva dos profissionais de saúde. Foi realizado um estudo de caso em unidades de saúde da atenção primária, com modelos organizacionais diferentes. Para coleta e análise de dados utilizou-se uma abordagem qualitativa e quantitativa, procurando triangular e complementar as informações. Como resultado, observou-se maior conformidade das ações no Caso 1, em comparação com o Caso 2, devido à falta do vale transporte e de parcerias, além da dificuldade de articulação da equipe de saúde, produzindo maior dificuldade de incorporação das ações do TDO. Para os profissionais de ambos os casos, o TDO precisa ser adaptado segundo o território de aplicação, além de considerarem que nem todos os usuários teriam indicação de seguir essa estratégia. Como recomendações do estudo, destacam-se, para o Caso 1, a necessidade de equacionar a carência de recursos materiais e estruturais e, para ambos os casos, a incorporação da rotina de supervisão das atividades do TDO, a ampliação de atividades em grupo para usuários e a não interrupção de vale transporte.

Adesão ao tratamento diretamente observado da tuberculose ? o sentido atribuído pelos usuários e profissionais de saúde em duas regiões administrativas do município do Rio de Janeiro / Adherence to directly observed treatment tuberculosis ? the meaning attributed by users and health professionals in two administrative regions in Rio de Janeiro city

O objetivo do estudo foi avaliar o Tratamento Diretamente Observado (TDO) para tuberculose (TB) considerando fatores associados à adesão em duas regiões administrativas do município do Rio de Janeiro, com alta incidência da doença e contextos socioeconômicos distintos. Buscou-se caracterizar as representações dos profissionais de saúde e usuários no que tange à aceitabilidade e acomodação, e identificar os fatores facilitadores ou barreiras. A estratégia metodológica foi a do estudo de caso em duas Unidades Básicas de Saúde com modelos organizacionais diferentes: ESF/PACS e modelo tradicional. Para coleta e análise de dados, empregou-se uma abordagem quali-quantitativa. Em relação à aceitabilidade, observou-se uma representação predominantemente positiva do TDO para usuários e profissionais, contudo a maioria dos profissionais e parte dos usuários de ambos os casos expressam que TDO não deveria ser para todos os portadores de TB. Quanto à acomodação, foi destacado pela maioria dos usuários o atendimento personalizado e a proximidade da unidade do local de residência. Como barreiras à adesão, identificou-se a vulnerabilidade dos usuários relacionada ao uso de drogas, violência social, interrupção do benefício de transporte e discriminação social. Como aspectos facilitadores, a estrutura operacional da equipe de saúde (principalmente enfermeiros e agentes comunitários de saúde ? ACS), a comunicação e o atendimento personalizado.

Construindo Critérios de Julgamento em Avaliação: especialistas e satisfação dos usuários com a dispensação do tratamento do HIV/Aids / Building Evaluation Criteria: experts and user satisfaction with pharmaceutical delivery services for HIV/Aids

Critério é uma ferramenta típica da avaliação e pode ser definido como uma dimensão-padrão em função da qual a realidade do objeto da avaliação receberá julgamento qualitativo e/ou quantitativo. Em uma avaliação, o procedimento de elaborar, esclarecer, negociar e aplicar critérios para determinar o valor (ou mérito) do objeto avaliado faz parte de um exercício metodológico que deve ser cuidadoso. Este artigo apresenta critérios de julgamento para avaliar a satisfação dos usuários com a dispensação dos medicamentos para o tratamento do HIV/Aids e seu processo de construção por meio de consenso entre diferentes atores sociais. Para estabelecer o consenso utilizou-se técnica de Delfos, uma técnica formal utilizada para consenso de especialistas com metodologia e processos estruturados. Neste estudo, foram considerados especialistas aqueles com experiência acadêmica e em gestão, bem como ativistas informados e comprometidos com a questão. Os achados foram sistematizados sob a forma de uma nova estrutura de satisfação, sob a qual os critérios construídos são articulados hierarquicamente. Buscou-se contribuir para o desenvolvimento de uma estratégia metodológica participativa em avaliação e ampliar o conhecimento sobre a satisfação dos usuários e a dispensação dos medicamentos para HIV/Aids.

A criterion is a typical tool in the evaluation field that can be defined as a standard-dimension under which the object of an evaluation receives qualitative or quantitative judgments. During an evaluation, several rigorous methodological procedures are involved in development and application of suitable criteria to determine the value of the object being evaluated. This article presents a set of criteria to evaluate user satisfaction with HIV/Aids-related pharmaceutical delivery services. The criteria construction process involved consensus amongst different experts, from academia, NGOs, management, by means of the Delphi technique. This technique prescribes a series of formal steps towards a consensus of experts, based on pre-structured methodology and processes. The findings were systematically organized in a structure under which the resulting satisfaction criteria are hierarchically organized. Results suggest the importance of developing a methodological strategy in evaluation that involves participation of different actors and of enhancing knowledge on user satisfaction and pharmaceutical delivery services for HIV/Aids.

Logic models from an evaluability assessment of pharmaceutical services for people living with HIV/AIDS / Modelos lógicos provenientes de estudo de avaliabilidade da assistência farmacêutica para pessoas vivendo com HIV/Aids

Brazil was the first developing country to provide people living with HIV/AIDS (PLWA) with comprehensive, universal, free access to antiretroviral medicines (ARV). Pharmaceutical services are considered a strategic action that has the goal of providing access to rational use of quality medicines while also promoting user satisfaction. User satisfaction is a complex concept, and evaluation models for pharmaceutical services for PLWA were not found in the literature. Therefore, an evaluation approach to help assess this issue had to be developed. This article seeks to describe a theoretical evaluation model of user satisfaction with the dispensing of ARV, developed as part of an Evaluability Assessment (EA). It presents a brief review of the EA and user satisfaction and describes the development of models created during the EA. The lessons learned in the process are presented as a conclusion.

O Brasil foi o primeiro país em desenvolvimento a fornecer medicamentos antiretrovirais (ARV) de forma integral, universal e gratuita às pessoas vivendo com HIV/Aids (PVHA). A Assistência Farmacêutica é considerada uma ação estratégica e busca prover acesso a medicamentos de qualidade, com uso racional, promovendo a satisfação dos usuários. Satisfação do usuá-rio é um conceito complexo e modelos para avaliarem serviços farmacêuticos para PVHA não são encontrados na literatura. Este artigo objetiva descrever o desenvolvimento de três modelos criados em um Estudo de Avaliabilidade (EA). É apresentada uma breve revisão dos conceitos de EA e de Satisfação do Usuário. As lições apreendidas no processo são apresentadas como conclusão.

Análise do desempenho do sistema de monitoramento do programa de controle de DST/Aids e hepatites virais (MONITORaids) como ferramenta de gestão: desafios e possibilidades / Analysis of the performance of the system for monitoring the STD/Aids and viral hepatitis control program (MONITORaids) as a management tool: challenges and possibilities

OBJETIVOS: analisar o MONITORaids à luz das necessidade atuais de acompanhamento do desempenho do programa tomando como referência o Plano de Ação e Metas (PAM) para o ano de 2009. MÉTODOS: a análise compreendeu três etapas: pactuação do significado de desempenho e das dimensões pelas qual o desempenho do programa será julgado; classificação das metas prioritárias disponíveis no PAM, segundo tipo de efeito esperado e o critério de qualidade das metas; e revisão dos indicadores do sistema tomando como referência as metas do PAM e as dimensões do desempenho. RESULTADOS: identificou-se que a atual configuração do MONITORaids não corresponde à estrutura matricial ou estratégica do programa e permite muito mais o acompanhamento da epidemia, respondendo a questões ligadas à vigilância da epidemia e pesquisas específicas do que propriamente o acompanhamento do desempenho do programa. A maioria das metas do Plano de Ações e Metas de 2009 foi classificada como de produto (87 por cento), com poucas de resultado (13 por cento) e nenhuma de impacto. CONCLUSÕES: o sistema precisa considerar o modelo lógico do programa para responder as questões prioritárias para gestão e tomada de decisão visando à melhoria do desempenho do programa. É recomendado que o MONITORaids inclua indicadores para o acompanhamento das prioridades da resposta incluindo as questões referentes a sua efetividade e eficiência.

OBJECTIVES: to analyze MONITORaids in the light of the current need to monitor the performance of the program, using the 2009 Action and Targets Plan (PAM). METHODS: the analysis was carried out in three stages: agreement on the meaning of performance and the features to be used to assess program performance; classification of high-priority goals in the PAM according to expected effect and quality criterion; and a review of the indicators used by the system, taking as the PAM goals as a point of reference, and of performance features. RESULTS: it was identified that the current version of the MONITORaids does not reflect the framework or the strategy of the program and is much more geared towards monitoring of the epidemic, since it deals with issues related to surveillance of the epidemic and specific research, rather than the monitoring of the performance of the program itself. Most of the goals contained in the 2009 PAM were classified as products (87 percent), and showed little in the way of results (13 percent) and no impact. CONCLUSIONS: the system needs to take into account the logical framework of the program if it is to deal with the issues that are priority for managers and decision-makers aiming to improve program performance. It is recommended that MONITORaids include indicators to monitor the priorities, including issues relating to effectiveness and efficiency.

Modelo de avaliação do programa de controle da tuberculose / Evaluation model for tuberculosis control program

A implantação é uma das fases do "ciclo de política", correspondendo à execução de atividades para atingir metas predefinidas. Em outra perspectiva, a formulação e implantação de políticas representam um processo, sujeito à influência do contexto e de mecanismos intervenientes. A construção de modelos teóricos permite que a avaliação de políticas e programas ultrapasse a visão dicotômica insumos/resultados e possibilita o esclarecimento das razões do êxito da intervenção em contextos diversos e para diferentes grupos populacionais. A avaliação torna-se um instrumento para constante reformulação de uma política pública, podendo chegar à sua reversão ou substituição. Um estudo de avaliação com base na teoria do programa relaciona os mecanismos que levam à mudança. Um modelo de autoavaliação é proposto como forma de auxiliar o gestor na identificação de problemas, na caracterização de fatores favoráveis a intervenções exitosas e na mensuração dos efeitos. A presente proposta baseou-se em três estudos de avaliação de intervenções para o controle da tuberculose que utilizaram diferentes métodos e múltiplas fontes de evidência. Os principais resultados encontrados foram a falta de autonomia técnico-gerencial, a carência de recursos humanos, financeiros e materiais e a deficiência na integração entre programas para um melhor desenvolvimento das ações de controle.

The implementation process is one of the steps of policy cycle, corresponding to the execution of activities which the purpose is to achieve previously defined targets. It could also be considered that policy's formulation and implementation means a process, subject to context and intervening actions. The building of theoretical models allows the evaluation of policies and programs to go beyond the dichotomist view of input x results and enables to understand the reasons of successful actions in different contexts and population groups. The evaluation process becomes an instrument to continuous reformulation of public policies and possibly leads to their reversal or substitution. An evaluation study based on program's theory shows the mechanisms which lead to changes. A self-evaluation model is proposed as a way to assist the manager in the identification of problems, the characterization of favorable factors to successful interventions and the measurement of effects. The present proposal was based upon three evaluation studies on actions for tuberculosis control which used of different methods and multiple sources of evidence. Main results observed were: lack of technical and managerial autonomy, shortage of both human and financial resources and also a deficient link among the programs ability to achieve the development of actions control.